Zhang H, Sindagi V, Patel V M. Image de-raining using a conditional generative adversarial network[J]. arXiv preprint arXiv:1701.05957, 2017.
1. Overview
图像去雨/去雪任务具有ill-posed性质，此前大多数工作都引入了prior信息，将问题转化为well-posed。本篇论文（cGAN+refined loss函数, ID-CGAN），在不引入prior信息的情况下，达到state-of-art。
1.1. 模型
1.2. Loss Function
1.2.1. G loss
包含三部分
- 去雨图像与gt之间的L2 loss
- 对抗loss
- perceptual loss. 去雨图像与gt的特征L2 loss（通过VGG-16提取）
实验中λ_a设为0.0066, λ_p设为1。
1.2.2. D loss
1.3. 相关工作
- SPM（sparse coding-based clustering method）. 使用双边滤波将图像分为高频和低频两个部分， 接着将高频图像分为有雨和无雨两部分。基于假设：雨的条纹具有相同的边缘方向。
- DSC（discriminative sparse coding based method）. Dictionary Learning
- PRM. GMM + patch-based prior
- GMM. GMM + patch-rank prior
- CCR（convolutional coding-based method）. 学习convolutional low-rank filters
- CNN
相比于相关工作，ID-CGAN
- 关注优化函数
- 没有使用额外的处理方法
1.4. Drawbacks
对于白色圆形雨点，不但无法去除，而且还会增强。可能的原因：
- 训练集缺少多样性
- VGG-16捕获到白色原形雨点的特征，通过loss function使其增强
1.5. 发现
训练好的de-rain模型还具有de-snow和de-haze效果。
2. 数据集
2.1. 合成数据
- 训练集. 700张图片。其中，500张从UCID数据集前800张图片中随机抽取；剩余200张从BSD-500训练集随机抽取
- 测试集. 100张图片。其中，50张从UCID后500张中随机抽取；50张从BSD-500测试集随机抽取
使用photoshop加上雨状条纹（不同方向和像素强度）。图像resize到256x256.
2.2. 真实数据
从网上下载50张包含雨点的图片，且具有不同方向和像素强度。
3. 实验
3.1. 评价指标
论文使用图像的luminance channel进行计算.
3.1.1. PSNR（Peak Signal Noise Ratio）
3.1.2. SSIM（Structure Similarity Index）
3.1.3. UQI（Universal Quality Index）
3.1.4. VIF（Visual Information ）
3.2. Baseline
- GEN. 图像L2 loss
- CGAN. 图像L2 loss + 对抗loss
- CGAN-P. 对抗loss + perceptual loss
3.3. Baseline实验结果
- 对抗loss能够提高视觉效果，但相关于常规CNN而言引进了artifacts
- Perceptual loss能够很好地的解决artifacts问题，以及增强实验效果。但不能完全消除artifacts，造成质量下降
3.4. 算法比较
